机器学习（ML）管道中的组合优化（CO）层是解决数据驱动决策任务的强大工具，但它们面临两个主要挑战。首先，CO问题的解通常是其客观参数的分段常数函数。鉴于通常使用随机梯度下降对ML管道进行训练，因此缺乏斜率信息是非常有害的。其次，标准ML损失在组合设置中不能很好地工作。越来越多的研究通过各种方法解决了这些挑战。不幸的是，缺乏维护良好的实现会减慢采用CO层的速度。在本文的基础上，我们对CO层介绍了一种概率的观点，该观点自然而然地是近似分化和结构化损失的构建。我们从文献中恢复了许多特殊情况的方法，我们也得出了新方法。基于这个统一的观点，我们提出了inferpopt.jl，一个开源的朱莉娅软件包，1）允许将任何具有线性物镜的Co Oracle转换为可区分的层，以及2）定义足够的损失以训练包含此类层的管道。我们的图书馆使用任意优化算法，并且与朱莉娅的ML生态系统完全兼容。我们使用视频游戏地图上的探索问题来证明其能力。
translated by 谷歌翻译
大量工作表明，机器学习（ML）模型可以泄漏有关其培训数据的敏感或机密信息。最近，由于分布推断（或属性推断）攻击引起的泄漏正在引起人们的注意。在此攻击中，对手的目标是推断有关培训数据的分配信息。到目前为止，对分布推理的研究集中在证明成功的攻击上，而很少注意确定泄漏的潜在原因和提出缓解。为了弥合这一差距，作为我们的主要贡献，我们从理论和经验上分析了信息泄漏的来源，这使对手能够进行分布推理攻击。我们确定泄漏的三个来源：（1）记住有关$ \ mathbb {e} [y | x] $（给定特征值的预期标签）的特定信息，（（2）模型的错误归纳偏置，以及（3）培训数据的有限性。接下来，根据我们的分析，我们提出了针对分配推理攻击的原则缓解技术。具体而言，我们证明了因果学习技术比相关学习方法更适合特定类型的分布推理所谓的分配构件推理。最后，我们提出了分布推断的形式化，该推论允许对比以前更多的一般对手进行推理。
translated by 谷歌翻译
在与用户进行交流时，以任务为导向的对话系统必须根据对话历史记录在每个回合时跟踪用户的需求。这个称为对话状态跟踪（DST）的过程至关重要，因为它直接告知下游对话政策。近年来，DST引起了很大的兴趣，文本到文本范式作为受欢迎的方法。在本评论论文中，我们首先介绍任务及其相关的数据集。然后，考虑到最近出版的大量出版物，我们确定了2021 - 2022年研究的重点和研究进展。尽管神经方法已经取得了重大进展，但我们认为对话系统（例如概括性）的某些关键方面仍未得到充实。为了激励未来的研究，我们提出了几种研究途径。
translated by 谷歌翻译
如果不确定性量化（UQ）对于实现值得信赖的机器学习至关重要，则大多数UQ方法都遭受不同和不一致的评估协议。我们声称这种不一致的原因是社区对UQ的不明确要求。本意见论文通过通过五个下游任务指定这些要求来提供新的观点，我们期望不确定性得分具有实质性的预测能力。我们仔细设计了这些下游任务，以反映ML模型的现实用法。在7个分类数据集的示例基准上，我们没有观察到最新的内在UQ方法与简单基线的统计优势。我们认为，我们的发现质疑为什么我们量化不确定性并呼吁根据被证明与ML从业人员相关的指标进行标准化协议进行标准化协议。
translated by 谷歌翻译
2022-07-18
尽管深度学习已经在文本和图像数据集上取得了巨大进展，但其对表格数据的优势尚不清楚。我们在大量数据集和高参数组合中为标准和新型深度学习方法以及基于树的模型（例如Xgboost和随机森林）提供了广泛的基准。我们从具有表格数据的清晰特征的各个域以及针对拟合模型和找到良好的超参数的基准测试方法来定义了一组45个数据集。结果表明，即使没有考虑其较高的速度，基于树的模型即使在中型数据（$ \ sim $ 10K样本）上仍然是最先进的。为了理解这一差距，我们对基于树模型和神经网络（NNS）的不同感应偏见进行了实证研究。这导致了一系列挑战，这些挑战应指导研究人员旨在构建表格特定的NNS：1。对非信息功能保持鲁棒，2。保持数据的方向，并3.能够轻松学习不规则的功能。为了刺激对表格体系结构的研究，我们为基准的标准基准和原始数据贡献了：20 000计算小时的每个学习者的每个学习者搜索每个学习者。
translated by 谷歌翻译
生产中部署的ML模型通常必须面对未知的领域变化，这与培训环境根本不同。绩效预测模型执行了衡量这些变化对模型性能的影响的关键任务。我们通过学习生成的合成扰动来研究各种绩效预测模型对新领域的概括能力。对十个表格数据集的基准测试的经验验证表明，基于最先进的换档检测指标的模型不足以概括为看不见的域，而错误预测因子可以持续改善转移的性能预测。我们还提出了对预测准确性的自然和轻松的不确定性估计，以确保可靠地使用性能预测因子。我们的实现可在https：//github.com/dataiku-research/performance_prediction_under_shift上获得。
translated by 谷歌翻译
传统上，使用漫长的图像处理技术（如FreeSurfer，Cat或civet）解决了磁共振成像的皮质表面重建问题。这些框架需要很长的时间来实时应用不可行，并且对于大规模研究而言是不可行的。最近，已经引入了监督的深度学习方法，以加快这项任务，从而将重建时间从小时到几秒钟。本文将最新的皮质流模型作为蓝图，提出了三个修改，以提高其与现有的表面分析工具的准确性和互操作性，同时又不牺牲其快速推理时间和较低的GPU记忆消耗。首先，我们采用更准确的ODE求解器来减少差异映射近似误差。其次，我们设计了一个例程来产生更平滑的模板网格，避免了由皮质流的基于凸形壳模板中尖锐边缘引起的网格伪像。最后，我们重新铸造表面预测为预测的白色表面的变形，从而导致白色和伴侣表面顶点之间的一对一映射。该映射对于许多现有的表面形态计量学的表面分析工具至关重要。我们将结果方法命名CorticalFlow $^{++} $。使用大规模数据集，我们证明了所提出的更改提供了更高的几何准确性和表面规律性，同时几乎保持了重建时间和GPU记忆要求几乎没有变化。
translated by 谷歌翻译